本文搬運自：ContinueDev + Hermes-3 405B (Free API) : 100% FREE Copilot based on Free API (BEATS Github Copilot)，在2024-09-07

摘要：教學如何使用免費的 Hermes-3 405B 模型 API 當做 Copilot。

1. Console 模式：使用 ShellGPT。
2. Visual Studio Code：使用 Continue.Dev。

系統要求：

原影片在MAC上操作，本文以下安裝過程僅在 Windows 11 執行，理論上 Windows 10 也可以。如果你在安裝過程中遇到問題，建議將 Windows 更新至最新版本。

使用心得：

1. 雖然回答速度略慢，但有免費的 Copilot 使用實在開心；autocomplete使用本機的Ollama反應飛快。
2. 影片中建議的 Qwen-2 1.5B 在 C# 開發上效果不佳，建議使用原設定的 Starcoder2 3B。

取得OpenRouter API Key

1. 到OpenRouter註冊後登入
2. 在滑鼠移到網頁右上角圖像，點「Keys」後按【Create Key】按鈕。
3. 填入Name，Credit limit可不填；按【Create】按鈕。
4. 產生的API Key畫面一但關掉就再也不會出現了，複製API Key請謹慎保存！
5. 在Search models文字框搜尋「Hermes 3 405B Instruct」，選到以後確定是【$0/M input tokens】及【$0/M output tokens】，按【複製】按鈕複製模型ID「nousresearch/hermes-3-llama-3.1-405b」。

下載與安裝 ShellGPT

安裝 Python

1. 安裝 WinGet（若尚未安裝）：前往微軟商店下載 WinGet：微軟商店。
2. 在命令提示字元或 PowerShell 使用 WinGet 安裝 Python：

winget install Python.Python.3

或者指定版本：

winget install Python.Python.3 --version 3.12

安裝必要的套件

在命令提示字元或 PowerShell 執行以下指令：

pip3 install shell-gpt
pip3 install litellm

修改 Shell GPT 設定

在 Windows 11 中(Windows 10應該也是相同)找到設定檔，路徑：

C:\Users\使用者名稱\.config\shell_gpt\.sgptrc

打開後編輯設定

DEFAULT_MODEL=openrouter/nousresearch/hermes-3-llama-3.1-405b
USE_LITELLM=true
OPENAI_API_KEY=你的openrouter-api-key

儲存後，在命令提示字元或Powershell中輸入以下指令測試：

sgpt "hello"

注意：和sgpt對話可以使用中文，但對話可能無法儲存。

下載與安裝 Continue.Dev

1. 在 Visual Studio Code 中的 Extesions 安裝 Continue.Dev。
2. 安裝後，選擇「Add Model」並選擇「Other OpenAI-compatible API」。
3. 選擇「Llama3.1 Chat」，然後點擊齒輪按鈕進行配置。

設定 API 參數

在 models 下，加入以下參數：

"apiKey": "你的openrouter-api-key",
"apiBase": "https://openrouter.ai/api/v1",
"model": "nousresearch/hermes-3-llama-3.1-405b",
"title": "Hermes-3"

注意不要在最後一行加逗號（JSON 格式限制）。

完成後，儲存文件。

安裝 Autocomplete 模型

注意：若要開發 C# 程式，建議用原設定的Starcoder2 3B。

1. 下載並安裝 Ollama：ollama.com。
2. 在 Ollama 網站上搜尋 Qwen2，選擇 1.5B 模型，並複製安裝指令。以下為複製的指令：

ollama run qwen2:1.5b

若要使用預設的Starcoder2 3B，複製的指令是：

ollama run starcoder2:3b

3. 在命令提示字元或 PowerShell 中貼上指令後執行（等待下載模型...）。

注意：ollama run以後的命令提示字元或 PowerShell 不可關閉，關閉後Continue.Dev的Autocomplete就不會動作了。

修改 Autocomplete 模型設定

Continue.Dev原設定使用Starcoder2 3B，修改使用Qwen 2的步驟如下：

1. 到 ContinueDev，點擊齒輪按鈕。
2. 在 tabAutocompleteModel 標籤下，更新以下參數：

"title": "Qwen-2",
"provider": "ollama",
"model": "qwen2:1.5b"

注意不要在最後一行加逗號（JSON 格式限制）。

使用心得

雖然回答速度略慢，但能夠免費使用這樣的 Copilot 助手實在令人驚喜。

我的開發環境配置：
CPU：Intel i7-11800H @ 2.30GHz
RAM：16GB
GPU：NVIDIA RTX 3050 Laptop

原Autocomplete設定：

  "tabAutocompleteModel": {
    "title": "Qwen-2",
    "provider": "ollama",
    "model": "qwen2:1.5b"
  },